你是不是有碰過以下問題：

• 新產品上線介面優化不知道哪一個版本比較好？
• 行銷活動中哪一個素材能真正打動消費者？
• 結帳流程中怎樣降低消費者的購物車放棄率？

以上問題也許在你的日常工作中都有碰過，你會想要怎麼解答？該怎麼樣給出一個不是「我覺得」的答案？

如果你腦中已經有一些想法了，恭喜你！也許你已經使用過所謂的「隨機對照組實驗」，如果沒有任何想法，沒關係！今天就讓我們來認識「隨機對照組實驗」，也就是業界所稱的AB testing、AB測試。

什麼是AB testing

簡單來說，針對一個想要知道的變數，設計2種不同版本讓使用者隨機進入測試，再透過統計分析決定哪一個變數下的版本表現得更好。

從上述我們可以看到AB testing的幾個特色：單一變數、隨機樣本、統計上具顯著性。

AB testing的注意事項

接下來我們來逐一檢視這些特性背後所代表的意義。

首先，AB testing透過更動一個變數去測試該變數是否為影響解果的改變因子，因此要確保不在多變數的情況下進行，以避免最後的結論無法正確歸因。

而為了要驗證該變因非小概率事件及盡可能降低偶然性，我們要讓測試的樣本盡可能的隨機分配以免有偏誤。

最後，我們會碰到２個問題：樣本要蒐集多少才夠？實驗要進行多久才行？

你是否曾聽過這句話：開啟一個AB testing很簡單，但要結束它卻很難，因為我們不知道要什麼時候結束。

其實這個問題不難！

這和你最後要驗證的結果需要符合統計顯著性有關。也就是你必須先要計算你需要蒐集到多少的樣本在統計上會具有顯著性，再去根據你一天可以蒐集到多少樣本，得出你此次實驗要進行的效期有多長。

透過上述的方法可以幫助我們找到影響消費者決策的關鍵，但也必須要小心，如果不熟悉或是在錯誤的觀念下進行，導致實驗流程上的偏誤，最後得出的數據將可能產生錯誤的推論！

實際執行需要注意的事

我們來看看有哪些在實驗進行中要注意的事！

首先，常常會忽略樣本隨機性的問題。由於取樣上的偏誤，導至樣本數無法概括母體，AB testing的結果和實際產品上線後的結果落差很大。

其次，沒有計算應該要蒐集到的樣本統計量。只是憑感覺認為實驗只要進行一個禮拜就好、我們只要蒐集100個樣本就好等等，測出的結果不一定具有統計上的顯著性，所得出的結論也不一定有利於上線後的決策依據。

最後，AB testing已經廣泛運用在商業決策上，協助我們在因果關係的推論上提供有效的檢驗方法，在了解其背後運作的統計原理後，相信大家在實際執行時一定會更有感覺！

在複習完數據分析需要運用到的統計知識後，接下來要進入到分析實戰篇，也就是工具的運用！我們會先從Excel開始，再來介紹SQL和Python。

那下一篇就來讓我們認識數據分析不容小覷的工具－強大的Excel吧！

參考資料：

http://conversionlab.co/2014/11/30/ab測試第一次就上手～新手基礎篇/

http://marketing-cat.tw/facebook/fb-ads-ab-test/